Phạm Văn Đồng sinh ra trong một gia đình trí thức ở xã Đức Tân, huyện Mộ Đức, tỉnh Quảng Ngãi. Từ nhỏ, ông được tiếp thu truyền thống văn hóa của quê hương và gia đình, trau dồi kiến thức về lịch sử, văn hóa của dân tộc và nhân loại. Ông theo học trường Quốc học Huế và sớm phát huy năng khiếu học tiếng Pháp;nhờ đó mà ông có thể nắm bắt nền tảng văn học-triết học Pháp nói riêng và phương Tây nói chung.

Năm 1925, ông tham gia phong trào bãi khóa của học sinh, sinh viên khi Phan Châu Trinh mất. Một năm sau (1926), ông sang Quảng Châu dự lớp huấn luyện cách mạng do Hồ Chí Minh tổ chức rồi gia nhập Hội Việt Nam Cách mạng Thanh niên. Năm 1929, ông được cử vào Kỳ bộ Nam Kỳ, rồi vào Tổng bộ Việt Nam Thanh niên Cách mạng Đồng chí Hội và tham gia đại hội của tổ chức này họp ở Hồng Kông. Tháng 7/1929, thực dân Pháp bắt ông và kết án đi đầy 10 năm tù ở Côn Đảo.

Năm 1936, sau khi ra tù, Phạm Văn Đồng hoạt động ở Hà Nội. Năm 1940, ông bí mật sang Trung Quốc cùng với Võ Nguyên Giáp, gia nhập Đảng Cộng sản Đông Dương và được Nguyễn Ái Quốc giao nhiệm vụ về nước xây dựng căn cứ địa gần biên giới Việt – Trung.

Năm 1945, tại Đại hội Quốc dân Tân Trào, Phạm Văn Đồng được bầu vào Ủy ban Thường trực gồm 5 người thuộc Ủy ban Dân tộc giải phóng, chuẩn bị cho Cách mạng tháng Tám.